Yellen được sinh ra ở Brooklyn, New York, là con gái của Anna (nhũ danh Blumenthal) và Julius Yellen, một vị bác sĩ.[1] Bà tốt nghiệp trường Trung học Fort Hamilton ở Bay Ridge, Brooklyn.[2] Bà tốt nghiệp với danh hiệu summa cum laude (danh hiệu cao nhất) tại Đại học Brown về ngành kinh tế học trong năm 1967, và nhận bằng tiến sĩ Kinh tế tại Đại học Yale năm 1971.

Yellen là người Do Thái [3], bà đã kết hôn với George Akerlof, một giáo sư danh dự tại Đại học California tại Berkeley, người từng đoạt giải Nobel kinh tế học. Con trai của bà là Robert Akerlof cũng trở thành một giáo sư tại Đại học Warwick.[4]